RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models
RARE：在 MoE 语言模型中解耦表示引导与专家路由
🧭 MoE LLM 表示工程与路由解耦
Huazhong University of Science and Technology · AIDX TECH PTE. LTD. · National University of Singapore
将行为扰动投影到路由器矩阵零空间，保持 MoE 路由一致，提升表示工程的控制效果与效用保留
📌 工作参考价值（4 点）
- 如果业务用 DeepSeek/Qwen 等 MoE LLM 做生成式推荐、query 改写或商品文案，需要对安全性、合规性、事实性进行在线控制时，避免直接对 hidden states 加扰动导致 expert 路由漂移；可借鉴 RARE 把扰动投影到 router matrix 的 null space，以保留下游能力。
- 该方法是轻量、无需训练的推理期控制手段，相比 SFT/RLHF 可以快速上线、实时调节，适合电商大促、广告审核等需要动态调整输出约束的场景。
- 工程实现只需缓存各层 router matrix 并计算其零空间投影，可在 vLLM 等推理框架中作为后处理插件集成，对延迟影响较小；论文在多个开源 MoE 模型上验证了通用性。
- 路由对语义内容敏感、对行为变化不敏感这一发现，提示在做 RAG 检索、query 改写时如果希望改变模型输出风格而不破坏专家选择，可以优先在表示空间的 router-null 子空间内操作。